Ba mẹ của Ngô là George (một kĩ sư đã về hưu) và Diana (một giáo sư đại học)[3] Họ đều là người gốc Thượng Hải. Sau cách mạng Cộng sản vào năm 1949, bố anh đã di cư đến Mỹ, và gặp mẹ anh tại New York, khi bà còn là một sinh viên. Sau khi đám cưới, họ định cư tại California.[5] Ngô còn có hai chị gái là Greta và Gloria.Anh lưu trú ở cả Hồng Kông, Thượng Hải và Bắc Kinh.[27] Anh vẫn tiếp tục luyện tập môn Wushu cũng như các môn võ thuật khác.[27]